20080217 efficientalgorithms kulikov_lecture13

с/к “Эффективные алгоритмы”
Лекция 13: Подходы к решению NP-трудных задач

А. Куликов

Computer Science клуб при ПОМИ
http://logic.pdmi.ras.ru/∼infclub/

А. Куликов (CS клуб при ПОМИ) 13. Подходы к NP-трудным задачам 1 / 58

План лекции
1 Расщепление
Выполнимость (автоматическое доказательство)


2 Случайный порядок перебора
Выполнимость


3 Локальный поиск
3-выполнимость
k-выполнимость


4 Динамическое программирование
Задача о коммивояжере


5 Сведение к простой задаче
Сумма подмножества
Максимальный разрез


6 Умный перебор
3-раскрашиваемость


7 Случайное сведение к простой задаче

Мотивация

Представим, что у нас есть алгоритм сложности 1.7n для некоторой
задачи, который за “разумное” время позволяет решать примеры этой
задачи размера не более n0 .


Мотивация

The “hardware” approach: возьмем в 10 раз более быстрый
компьютер. Теперь мы можем решать примеры размера n0 + 4.


Мотивация

The “brainware” approach: придумаем алгоритм сложности 1.3n .
Это позволит нам решать примеры размера 2 · n0 .


Мотивация

The “brainware” approach: придумаем алгоритм сложности 1.3n .
Это позволит нам решать примеры размера 2 · n0 .
Другими словами, уменьшение основания экспоненты времени работы
алгоритма увеличивает размер решаемых за данное время примеров в
константное число раз, в то время как использование более быстрого
компьютера способно увеличить размер лишь на константу.


Мотивация


Мотивация

Многим приложениям требуется решать NP-трудные задачи, даже
несмотря на то, что решения могут быть найдены только для
весьма маленьких размеров входов.


Мотивация

Лучшее понимание NP-трудных задач.


Мотивация

Новые интересные комбинаторные и алгоритмические задачи.


Мотивация

Новые интересные комбинаторные и алгоритмические задачи.
Общая теория.


Метод расщепления

Основная идея
Разбить входной пример задачи на несколько более простых примеров
той же задачи, найти для них решения (рекурсивными вызовами) и
построить по найденным решениям ответ для исходного примера.


Анализ алгоритмов расщепления



как правило, анализ расщепляющего алгоритма состоит из
длинного списка случаев



в каждом случае показывается, что входной пример можно
разбить на несколько примеров, чьи размеры на нужную
константу меньше, чем размер исходного примера



доказательство для каждого случая представаляет собой простое
комбинаторное рассуждение



доказательство для каждого случая представаляет собой простое
комбинаторное рассуждение
такой разбор случаев можно проводить автоматически


Программа для автоматического доказательства верхних
оценок для NP-трудных задач

Вход



Вход
NP-трудную задачу, сформулированную в терминах КНФ формул



Вход
множество правил упрощения для данной задачи



Вход
верхнюю оценку



Вход
верхнюю оценку

По входным данным программа пытается найти
алгоритм расщепления для данной задачи, который использует
данные правила упрощения и имеет время работы, удовлетворяющее
данной оценке.


Пример входа

Пример входа
Допсутим, программа получила задание доказать, что существует
алгоритм для выполнимости, который использует правила удаления
единичных клозов и чистых литералов и имеет время работы не хуже
1.619K , где K — количество клозов входной формулы.


Предобработка


программа должна доказать, что для любой упрощенной
формулы можно найти (1, 2)-расщепление (то есть расщепление,
которому соответствует рекуррентное неравенство
T (K ) ≤ T (K − 1) + T (K − 2) + poly (K ))


T (K ) ≤ T (K − 1) + T (K − 2) + poly (K ))
каждый литерал упрощенной формулы входит в нее хотя бы один
раз положительно и хотя бы один раз отрицательно (все
остальные литералы являются чистыми и удаляются
соответствующим правилом)


T (K ) ≤ T (K − 1) + T (K − 2) + poly (K ))
каждый литерал упрощенной формулы входит в нее хотя бы один
раз положительно и хотя бы один раз отрицательно (все
остальные литералы являются чистыми и удаляются
соответствующим правилом)
более того, если есть литерал, который входит в формулу хотя бы
дважды, то расщепление по нему дает требуемое неравенство:
(x ∨ a ∨ . . . ) ∧ (x ∨ b ∨ . . . ) ∧ (¯ ∨ c ∨ . . . ) ∧ . . .
x
XXXX
x =1 XXX x =0

9 z
X
(c ∨ . . . ) ∧ . . . (a ∨ . . . ) ∧ (b ∨ . . . ) ∧ . . .



Таким образом
Программе нужно доказать, что упрощенную формулу, состоящую
только из (1, 1)-литералов, всегда можно хорошо расщепить.


Автоматический разбор случаев

упрощенные формулы




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x

)
(x) ∧ (¯ ∨ . . .) ∧ . . .
x




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
(x) ∧ (¯ ∨ . . .) ∧ . . .
x y ∈ (x ∨ . . . )




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
есть единичный клоз (x) ∧ (¯ ∨ . . .) ∧ . . .
x y ∈ (x ∨ . . . )




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
x y ∈ (x ∨ . . . )

(x ∨ y . . . ) ∧ (¯ ∨ y . . . ) ∧ . . .
x ¯




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
x y ∈ (x ∨ . . . )

(x ∨ y . . . ) ∧ (¯ ∨ y . . . ) ∧ . . .
x ¯

(x ∨ y . . . ) ∧ (¯ ∨ . . . ) ∧ (¯ ∨ . . . ) ∧ . . .
x y




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
x y ∈ (x ∨ . . . )

(2, 2)-расщепление по x (x ∨ y . . . ) ∧ (¯ ∨ y . . . ) ∧ . . .
x ¯

(x ∨ y . . . ) ∧ (¯ ∨ . . . ) ∧ (¯ ∨ . . . ) ∧ . . .
x y




?
(x ∨ . . .) ∧ (¯ ∨ . . .) ∧ . . .
x
PPP

) q
P
x y ∈ (x ∨ . . . )

(2, 2)-расщепление по x (x ∨ y . . . ) ∧ (¯ ∨ y . . . ) ∧ . . .
x ¯

(2, 1)-расщепление по x (x ∨ y . . . ) ∧ (¯ ∨ . . . ) ∧ (¯ ∨ . . . ) ∧ . . .
x y


Случайный порядок перебора

Если для нахождения решения достаточно знать какую-то его часть,
можно попытаться ее угадать, а потом достроить решение.


Основные идеи PPSZ-подобного алгоритма

Основные идеи



выберем случайную перестановку переменных и будем
расщеплять по переменным в соответствующем порядке



возможно, расщеплять нужно будет не по всем переменным,
посколько некоторые переменные могут получить значения в
результате применения правил упрощения



возможно, расщеплять нужно будет не по всем переменным,
посколько некоторые переменные могут получить значения в
результате применения правил упрощения
для оценки времени работы будем считать, по скольким
переменным нам расщеплять не пришлось


PPSZ-подобный алгоритм

Алгоритм
PPSZ-SAT(F )



Алгоритм
PPSZ-SAT(F )
выбрать случайным образом перестановку из множества всех
перестановок {1, . . . , n}



Алгоритм
PPSZ-SAT(F )
построить дерево рекурсии глубины не более 2n/3, где на каждом
шаге



Алгоритм
PPSZ-SAT(F )
шаге
сначала применяем правило удаления единичных клозов,



Алгоритм
PPSZ-SAT(F )
шаге
а потом выбираем первую переменную из перестановки, все еще
входяющую в формулу, и расщепляемся по ней



Алгоритм
PPSZ-SAT(F )
шаге
если на каком-то шаге выяснилось, что формула выполнима,
выдать “выполнима”



Алгоритм
PPSZ-SAT(F )
шаге
если на каком-то шаге выяснилось, что формула выполнима,
выдать “выполнима”
в противном случае выдать “невыполнима”


Локальный поиск

Взять кандидата на решение и проверить, является ли он решением.
Если нет, то локально модифицировать. Если через несколько
итераций решение не найдено, выбрать другого кандидата.


Хэммингово расстояние

Определение



Хэммингово расстояние двух наборов — количество переменных,
которым эти наборы присваивают разные значения.



Хэммингово расстояние двух наборов — количество переменных,
которым эти наборы присваивают разные значения.
Для набора t и числа d под Хэмминговым шаром ℋ(t, d ) (с
центром в t и радуиса d ) будем понимать множество всех
наборов, находящихся на расстоянии не более чем d от t.


Поиск в шаре

Для формулы F в 3-КНФ поиск выполняющего набора в шаре ℋ(t, d )
может быть осуществлен за время 3d :



если t не выполянет F , возьмем произвольный невыполненный
клоз C = (x1 ∨ x2 ∨ x3 )



клоз C = (x1 ∨ x2 ∨ x3 )
рассмотрим три набора, полученных из t изменением значений
переменных x1 , x2 и x3



клоз C = (x1 ∨ x2 ∨ x3 )
рассмотрим три набора, полученных из t изменением значений
переменных x1 , x2 и x3
хотя бы один из них будет ближе к выполняющему набору


√ n
3 -Алгоритм

Алгоритм
Simple-3-SAT(F )


√ n
3 -Алгоритм

Алгоритм
Simple-3-SAT(F )
проверить, есть ли выполняющий набор в шарах ℋ(0n , n/2),
ℋ(1n , n/2)


√ n
3 -Алгоритм

Алгоритм
Simple-3-SAT(F )
ℋ(1n , n/2)

Лемма
√ n
Время работы алгоритма Simple-3-SAT есть 3 , где n = n(F ) —
число переменных формулы F .


√ n
3 -Алгоритм

Алгоритм
Simple-3-SAT(F )
ℋ(1n , n/2)

Лемма
√ n
Время работы алгоритма Simple-3-SAT есть 3 , где n = n(F ) —
число переменных формулы F .

Доказательство
Понятно, что если выполняющий набор есть, то он содержится в
одном из рассмотренных двух шаров.


Обобщение для k-SAT




покрыть множество всех наборов шарами равного радиуса
(покрывающий код, covering code)



проверить каждый шар



время работы алгоритма: (2 − 2/(k + 1))n



время работы алгоритма: (2 − 2/(k + 1))n

Открытый вопрос
Придумать алгоритм, работающий быстрее.


Динамическое программирование

Последовательно находить и запоминать решения для подпримеров
исходного примера.



Алгоритм
Dynamic-TSP(G )



Алгоритм
Dynamic-TSP(G )
для каждого непустого подмножества S ⊆ {2, . . . , n} и для каждой
вершины i ∈ S через Opt[S, i] будем обозначать длину
кратчайшего маршрута. начнинающегося в вершине 1,
проходящему через все вершины S − {i} и заканчивающегося в
вершине i



Алгоритм
Dynamic-TSP(G )
вершине i
последовательно заполнить матрицу:
Opt[S, i] = min{Opt[S − {i}, j] + d (i, j) : j ∈ S − {i}}



Алгоритм
Dynamic-TSP(G )
вершине i
последовательно заполнить матрицу:
Opt[S, i] = min{Opt[S − {i}, j] + d (i, j) : j ∈ S − {i}}
вернуть оптимальную стоимость маршрута:
min{Opt[{2, . . . , n}, j] + d (j, 1) : 2 ≤ j ≤ n}


Открытые вопросы

Лемма
Сложность алгоритма Dynamic-TSP по времени и по памяти есть
poly(n)2n .



Лемма
poly(n)2n .

Факт
Данный теоретический алгоритм был представлен в 1962-м году и до
сих пор является лучшим из известных.



Лемма
poly(n)2n .

Факт




Лемма
poly(n)2n .

Факт

Придумать алгоритм, работающий за время 1.99n .



Лемма
poly(n)2n .

Факт

Придумать алгоритм, работающий за время 1.99n .
Придумать алгоритм, работающий за время 2n , но
полиномиальный по памяти.


Сведение к простой задаче

По входному примеру трудной задачи построить пример
экспонециального размера для простой задачи и воспользоваться
эффективным алгоритмом для этой задачи.


Табличная сумма

Задача о табличной k-сумме (table-k-SUM problem) заключается в
проверке, можно ли из каждой строчки входной матрицы размера
k × m выбрать по числу так, чтобы их сумма равнялась входному
результату S.




Перебор
На полный перебор тратится время mk .




Перебор
На полный перебор тратится время mk .

Улучшение для табличной 2-суммы
Отсортируем первую строчку, после чего для каждого числа x второй
строчки проверим бинарным поиском, нет ли в первой строчке числа
S − x. Все это займет O(m log m) времени.


Улучшение для табличной k-суммы

Алгоритм
Table-k-SUM-Alg(A[k, m], S)



Алгоритм
построить матрицу B[2, m⌈k/2⌉ ] следующим образом:



Алгоритм
в первую строчку записываем все возможные суммы элементов из
первых ⌊k/2⌋ строчек матрицы A (ровно по одному из каждой
строчки)



Алгоритм
строчки)
во вторую — из последних ⌈k/2⌉



Алгоритм
строчки)
запускаем алгоритм для табличной 2-суммы на полученной
матрице B



Алгоритм
строчки)
запускаем алгоритм для табличной 2-суммы на полученной
матрице B

Лемма
Алгоритм Table-k-SUM-Alg имеет O(m⌈k/2⌉ log m) сложность по
времени и O(m⌈k/2⌉ ) сложность по памяти.


Задача о сумме подмножества (subset-sum problem) заключается в
проверке того, можно ли из заданного набора из n чисел выбрать
несколько так, чтобы их сумма равнялась заданному числу B.



Алгоритм
Subset-Sum-Alg({bi }1≤i≤n , B)



Алгоритм
разбить входные числа на две части: b1 , . . . , b⌈n/2⌉ и
b⌈n/2⌉+1 , . . . , bn



Алгоритм
b⌈n/2⌉+1 , . . . , bn
построить таблицу из двух строчек, в первую из которых записать
все возможные суммы чисел из первой части, во вторую — из
второй



Алгоритм
b⌈n/2⌉+1 , . . . , bn
построить таблицу из двух строчек, в первую из которых записать
все возможные суммы чисел из первой части, во вторую — из
второй
запустить для полученной матрицы алгоритм для табличной
2-суммы


Анализ алгоритма

Лемма
Алгоритм Subset-Sum-Alg имеет сложность 2n/2 по времени и по
памяти.



Лемма
памяти.




Лемма
памяти.

Придумать алгоритм, работающий за время 1.99n , но
использующий лишь полиномиальную память.


3-клика

Задача о 3-клике (3-clique problem) заключается в проверке наличия
3-клики (то есть полного подграфа на трех вершинах) во входном
графе.


3-клика

графе.

Алгоритм
Matrix-Clique(G )


3-клика

графе.

Алгоритм
Matrix-Clique(G )
построить матрицу смежности A графа G


3-клика

графе.

Алгоритм
Matrix-Clique(G )
посчитать A3


3-клика

графе.

Алгоритм
Matrix-Clique(G )
вернуть “да”, если на диагонали построенной матрицы есть хотя
бы одна единица


3-клика

графе.

Алгоритм
Matrix-Clique(G )
вернуть “да”, если на диагонали построенной матрицы есть хотя
бы одна единица
вернуть “нет”



Лемма
Алгоритм выдает правильный ответ за время O(nw ), где w ≈ 2.376 —
экспонента перемножения матриц (matrix multiplication exponent).



Лемма




Лемма

важное свойство матрицы смежности: Ak [i, j] есть количество
путей длины k из вершины i в вершину j в графе G (легко
доказать по индукции)



Лемма

3-клика — это путь длины 3 из вершину в саму себя



Лемма

3-клика — это путь длины 3 из вершину в саму себя
для вычисления A3 требуется два умножения матриц



Придумать более быстрый алгоритм для 3-клики.



Придумать более быстрый алгоритм для 3-клики.
Является ли 3-клика такой же сложной, как и умножение булевых
матриц?



Основные идеи сведения задачи о максимальном разрезе к
задаче 3-клики
Дан граф G на n вершинах.



Построим трехдольный граф H на 3 · 2n/3 вершинах со
следующим свойством: исходный граф G имеет разрез веса w
тогда и только тогда, когда H содержит 3-клику веса w .



Используем быстрое умножение матриц для поиска 3-клики.



Используем быстрое умножение матриц для поиска 3-клики.
Сложность: 2wn/3 ≈ 1.732n .


Вспомогательный граф

'$
V1

T1 %

T2 T3 '$ '$
V2 V3

% %

вспомогательный граф H входной граф G



'$
V1 /X1

T1 %
1 X

r X1

T2 T3 '$ '$
V2 /X2 V3 /X3
r r
X2 X3 X X
%
2 %
3




'$
t V /X
1 1
t X
T1 % 1

r X1

T2 T3 '$ '$
t V2 /X2 t V /X
r r 3 3
X2 X3 t t
%
X2 %
X3



Алгоритм
Алгоритм
Matrix-MAX-CUT(G )


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )
разбить множество вершин V на три равные части V1 , V2 , V3


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )
построить вспомогательный трехдольный граф H: в i-я доля Ti
содержит все возможные непустые подмножества Vi ; вес ребра
между X1 и X2 равен

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

(для остальных пар долей — аналогично)


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
оставить только ребра веса wij между долями Ti и Tj


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
проверить, есть ли в модифицированном графе H 3-клика


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
если да, то в G есть разрез веса w12 + w13 + w23


Алгоритм
Алгоритм
Matrix-MAX-CUT(G )

w (V2 ∖ X2 , X1 ) + w (V1 ∖ X1 , X1 ) + w (V1 ∖ X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
если да, то в G есть разрез веса w12 + w13 + w23
вернуть максимальную найденную стоимость разреза



Придумать алгоритм быстрее.



Придумать алгоритм быстрее.
Придумать алгоритм, работающий за время 1.99n , но
полиномиальный по памяти.


Умный перебор

Используя свойства конкретной задачи, перебирать кандидатов на
решения эффективно.



Задача 3-раскрашиваемости (3-coloring problem) заключается в
проверке, можно ли раскрасить данный граф правильным образом в
три цвета (смежные вершины не покрашены в один цвет).



Задача 3-раскрашиваемости (3-coloring problem) заключается в
проверке, можно ли раскрасить данный граф правильным образом в
три цвета (смежные вершины не покрашены в один цвет).

Полный перебор
Всего кандидатов на решение — 3n .



Алгоритм
Simple-Clever-Enum(G )



Алгоритм
НУО, граф связен



Алгоритм
зафиксировать цвет 1 для какой-нибудь вершины



Алгоритм
последовательно выбирать вершины, у которых есть хотя бы один
уже покрашенный сосед и рассматривать два варианта ее
покраски



Алгоритм
последовательно выбирать вершины, у которых есть хотя бы один
уже покрашенный сосед и рассматривать два варианта ее
покраски

Лемма
Алгоритм Simple-Clever-Enum имеет время работы 2n .


Еще один умный перебор

Алгоритм
Clever-Enum(G )



Алгоритм
Clever-Enum(G )
для каждого S ⊆ {1, . . . , n} размера не более n/3



Алгоритм
Clever-Enum(G )
покрасить вершины из S в цвет 1



Алгоритм
Clever-Enum(G )
покрасить оставшиеся вершины в цвета 2 и 3



Алгоритм
Clever-Enum(G )
если покраска правильная, выдать “да”



Алгоритм
Clever-Enum(G )
если покраска правильная, выдать “да”
выдать “нет”



Лемма
Алгоритм Clever-Enum корректно выдает решение за время 1.89n .




Лемма

в любой раскраске один из цветов встречается не более n/3 раз



Лемма

будем считать, что это всегда первый цвет



Лемма

2-раскрашиваемость решается за линейное время



Лемма

2-раскрашиваемость решается за линейное время
(︀ n )︀ H(1/3)n ≤ 1.89n , где H — бинарная энтропия:
n/3 ≤ 2
(︂ )︂ (︂ )︂
1 1
H(x) = x log2 + (1 − x) log2
x 1−x


Случайное сведение к простой задаче

Используя случайные биты, так изменить входной пример задачи,
чтобы для поиска решения понадобилось полиномиальное время.



Алгоритм



Алгоритм
повторить c · 1.5n раз:



Алгоритм
для каждой вершины выбрать случайным образом один из трех
цветов, в который данная вершина не покрашена



Алгоритм
записать формулу в 2-КНФ, которая выполнима тогда и только
тогда, когда граф можно раскрасить с заданными ограничениями:
для ребра (u, v ), где u покрашена в цвет 1 или 2, а v — в цвет 2
или 3, запишем клозы

(u1 ∨ u2 ) ∧ (v2 ∨ v3 ) ∧ (¬u2 ∨ ¬v2 )



Алгоритм

(u1 ∨ u2 ) ∧ (v2 ∨ v3 ) ∧ (¬u2 ∨ ¬v2 )

если полученная формула выполнима, выдать ответ “да”



Алгоритм

(u1 ∨ u2 ) ∧ (v2 ∨ v3 ) ∧ (¬u2 ∨ ¬v2 )

если полученная формула выполнима, выдать ответ “да”
выдать ответ “нет”


Спасибо за внимание!


20080217 efficientalgorithms kulikov_lecture13

More Related Content

Similar to 20080217 efficientalgorithms kulikov_lecture13 (14)

More from Computer Science Club (20)

20080217 efficientalgorithms kulikov_lecture13